我们提出了一种新颖的方法，即在强化学习框架中使用样式转移和对抗性学习的方式学习样式反应表示。在这里，样式是指任务核算的细节，例如图像中背景的颜色，在这种情况下，在具有不同样式的环境中概括学到的策略仍然是一个挑战。我们的方法着眼于学习样式不合时宜的表示，以固有的对抗性风格的发电机产生的不同图像样式训练演员，该样式在演员和发电机之间扮演最小游戏，而无需提供数据扩展的专家知识或其他类别的课程。对抗训练的标签。我们验证我们的方法比Procgen的最先进方法和分散控制套件的基准，并进一步研究从我们的模型中提取的功能，表明该模型更好地捕获不变性，并且不分散注意力，我们的方法可以实现竞争性或更好的性能。通过移动的风格。该代码可在https://github.com/postech-cvlab/style-agnostic-rl上找到。
translated by 谷歌翻译
隐式3D表示的最新进展，即神经辐射场（NERFS），以可区分的方式使准确且具有逼真的3D重建成为可能。这种新的表示可以有效地以一种紧凑的格式传达数百个高分辨率图像的信息，并允许对新观点的逼真综合。在这项工作中，使用NERF的变体称为全体氧，我们为感知任务创建了第一个大规模隐式表示数据集，称为Fustection，该数据集由两个部分组成，这些部分既包含以对象为中心和场景为中心的扫描，用于分类和分段， 。它显示了原始数据集的显着内存压缩率（96.4 \％），同时以统一形式包含2D和3D信息。我们构建了直接作为输入这种隐式格式的分类和分割模型，并提出了一种新颖的增强技术，以避免在图像的背景上过度拟合。代码和数据可在https://postech-cvlab.github.io/perfception中公开获得。
translated by 谷歌翻译
最近的3D注册方法可以有效处理大规模或部分重叠的点对。然而，尽管具有实用性，但在空间尺度和密度方面与不平衡对匹配。我们提出了一种新颖的3D注册方法，称为uppnet，用于不平衡点对。我们提出了一个层次结构框架，通过逐渐减少搜索空间，可以有效地找到近距离的对应关系。我们的方法预测目标点的子区域可能与查询点重叠。以下超点匹配模块和细粒度的细化模块估计两个点云之间的准确对应关系。此外，我们应用几何约束来完善满足空间兼容性的对应关系。对应性预测是对端到端训练的，我们的方法可以通过单个前向通行率预测适当的刚体转换，并给定点云对。为了验证提出方法的疗效，我们通过增强Kitti LiDAR数据集创建Kitti-UPP数据集。该数据集的实验表明，所提出的方法显着优于最先进的成对点云注册方法，而当目标点云大约为10 $ \ times $ higation时，注册召回率的提高了78％。比查询点云大约比查询点云更密集。
translated by 谷歌翻译
通常，深度神经网络（DNN）是通过在训练阶段排除的未见数据测量的概括性能评估的。随着DNN的发展，概括性能会收敛到最新的，并且很难仅基于该指标评估DNN。对抗攻击的鲁棒性已被用作通过测量其脆弱性来评估DNN的额外指标。但是，很少有研究通过DNN中的几何形状来分析对抗性鲁棒性。在这项工作中，我们进行了一项实证研究，以分析影响对抗性攻击下模型鲁棒性的DNN的内部特性。特别是，我们提出了人口稠密区域集（PRS）的新颖概念，其中训练样本更频繁地代表在实际环境中DNN的内部特性。从对拟议概念进行的系统实验，我们提供了经验证据，以证明低PRS比与DNNS的对抗鲁棒性具有牢固的关系。我们还设计了PRS正常器利用PRS的特征来改善对抗性鲁棒性，而无需对抗训练。
translated by 谷歌翻译
神经网络倾向于在训练数据的主要部分中表现出的类和潜在属性之间的虚假相关性，这破坏了其概括能力。本文提出了一种新的方法，用于培训错误的分类器，没有虚假属性标签。该方法的关键思想是采用分类器委员会作为辅助模块，该模块可以识别偏置冲突的数据，即没有虚假相关性的数据，并在训练主要分类器时向它们分配了很大的权重。该委员会被学到了一个自举的合奏，因此大多数分类器都具有偏见和多样化，并且故意无法相应地预测偏见的偏见。因此，预测难度委员会的共识为识别和加权偏见冲突数据提供了可靠的提示。此外，该委员会还接受了从主要分类器转移的知识的培训，以便它逐渐与主要分类器一起变得偏见，并强调随着培训的进行而更加困难的数据。在五个现实世界数据集中，我们的方法在没有像我们这样的虚假属性标签的现有方法上优于现有方法，甚至偶尔会超越依靠偏见标签的方法。
translated by 谷歌翻译
生成对抗网络（GAN）是现实图像合成的最新生成模型之一。虽然培训和评估GAN变得越来越重要，但当前的GAN研究生态系统并未提供可靠的基准，以始终如一地进行评估。此外，由于GAN实施很少，因此研究人员将大量时间用于重现基线。我们研究了GAN方法的分类法，并提出了一个名为Studiogan的新开源库。 Studiogan支持7种GAN体系结构，9种调理方法，4种对抗损失，13个正则化模块，3个可区分的增强，7个评估指标和5个评估骨干。通过我们的培训和评估协议，我们使用各种数据集（CIFAR10，ImageNet，AFHQV2，FFHQ和Baby/Papa/Granpa-Imagenet）和3个不同的评估骨干（InceptionV3，Swav，Swav和Swin Transformer）提出了大规模的基准。与GAN社区中使用的其他基准不同，我们在统一的培训管道中培训了包括Biggan，stylegan2和stylegan3在内的代表GAN，并使用7个评估指标量化了生成性能。基准测试评估其他尖端生成模型（例如，stylegan-xl，adm，maskgit和rq-transformer）。 Studiogan提供了预先训练的权重的GAN实现，培训和评估脚本。 Studiogan可从https://github.com/postech-cvlab/pytorch-studiogan获得。
translated by 谷歌翻译
将零件组装成对象是一个组合问题，在现实世界中的各种情况下都会出现，并且涉及科学和工程学中的许多应用。以前的相关工作可以解决限制案例，其单位零件或拼图形状的部分相同，这大大减轻了问题的组合挑战。在这项工作中，我们介绍了形状组装的更具挑战性的问题，该问题涉及具有模糊连接的任意形状的无纹理碎片，然后提出了一种基于学习的方法来解决它。我们证明了具有各种情况的形状组装任务的有效性，包括具有异常片段（例如缺失和扭曲），不同数量的片段和不同旋转离散化的情况。
translated by 谷歌翻译
最近神经网络的成功使得能够更好地解释3D点云，但是处理大规模的3D场景仍然是一个具有挑战性的问题。大多数电流方法将大型场景划分为小区，并将当地预测组合在一起。然而，该方案不可避免地涉及预处理和后处理的附加阶段，并且由于局部视角下的预测也可能降低最终输出。本文介绍了由新的轻质自我关注层组成的快速点变压器。我们的方法编码连续的3D坐标，基于体素散列的架构提高了计算效率。所提出的方法用3D语义分割和3D检测进行了说明。我们的方法的准确性对基于最佳的体素的方法具有竞争力，我们的网络达到了比最先进的点变压器更快的推理时间速度更快的136倍，具有合理的准确性权衡。
translated by 谷歌翻译
旋转激光雷达数据对于3D感知任务普遍存在，但尚未研究其圆柱形图像形式。传统方法将扫描视为点云，并且它们依赖于昂贵的欧几里德3D最近邻居搜索数据关联或依赖于投影范围图像以进行进一步处理。我们重新审视LIDAR扫描形成，并呈现来自原始扫描数据的圆柱形范围图像表示，配备有效校准的球形投射模型。通过我们的配方，我们1）收集一个LIDAR数据的大型数据集，包括室内和室外序列，伴随着伪接地的真理姿势;2）评估综合性和现实世界转型的序列上的投影和常规登记方法;3）将最先进的RGB-D算法转移到LIDAR，其运行高达180 Hz的注册和150 Hz以进行密集的重建。数据集和工具将被释放。
translated by 谷歌翻译
对于许多3D视觉任务，包括对象检测，分割，注册和3D输入的各种感知任务，这一点是普遍的。然而，由于3D数据的稀疏性和不规则性，定制3D运算符或网络设计一直是3D研究的主要焦点，而参数的网络或参数的功效的大小被忽略了。在这项工作中，我们对空间稀疏3D卷积网络的重量稀疏性进行了第一综合研究，并提出了一种用于语义分割和实例分割的紧凑的权重稀疏和空间稀疏的3D Conver（WS ^ 3-Tromet）。我们采用各种网络修剪策略来查找紧凑的网络，并展示我们的WS ^ 3-TRMYNET在数值较少数量的参数（1/100压缩速率）中实现了最小的性能（2.15％掉落）。最后，我们系统地分析了WS ^ 3-Tromnet的压缩模式，并在我们的压缩网络中显示了有趣的新出现的稀疏模式，以进一步加速推断。
translated by 谷歌翻译